Cho đến nay, vẫn chưa có câu trả lời chính xác chùa Ba Vàng được khai sơn từ khi nào. Theo nội dung khắc trên cây hương đá trước cửa chùa thì chùa xưa được dựng vào năm Ất Dậu, triều vua Lê Dụ Tông, niên hiệu Vĩnh Thịnh (tức năm 1706) và ngôi chùa lúc đó được gắn liền với tên tuổi Ngài Trúc Lâm Ma Ha Sa Môn Tuệ Bích Phổ Giác (1659 – 1758). Tuy nhiên, căn cứ vào những dấu tích di chỉ được các nhà khảo cổ thêm thì ngôi chùa còn có thể được xây dựng từ sớm hơn, tức là vào thời Trần thế kỷ thứ 13.

Tuy nhiên chùa xưa chỉ còn là phế tích, để phát huy giá trị văn hóa lịch sử ngôi chùa liên tiếp được đầu tư tôn tạo. Ban đầu chùa được xây dựng bằng gỗ và sau đó năm 1993 chùa được trùng tu lại bằng xi măng.

Từ năm 2007, Thích Trúc Thái Minh, cùng các đệ tử, du khách, phật tử thập phương đóng góp công sức tiến hành trùng tu Ba Vàng lần thứ tư với nguồn vốn xã hội hóa gần 500 tỷ đồng.[4]